ZooClaw-FashionSigLIP2: Distilled Fine-tuning for Robust Fashion Retrieval
ZooClaw-FashionSigLIP2：蒸馏微调与权值插值实现鲁棒时装检索
🧭 视觉-语言模型蒸馏微调 · 时装检索 ★ 深度解读
ZooClaw.ai
Full fine-tuning + LwF 蒸馏 + WISE-FT 权值插值，在时尚图文检索中同时击败 LoRA、更大骨干和外部数据
📌 工作参考价值（4 点）
- Full FT + LwF + WiSE-FT 是比 LoRA 更稳的域适配方案：对在电商搜索中微调 VLE 时，直接全量微调图像/文本编码器并配合知识蒸馏（冻结基座做 teacher），再用 WiSE-FT 与 base 做权值插值，能在保住零样本泛化的同时大幅提升域内指标。LoRA 的低秩约束会迫使更新集中在少数方向，OOD 下降明显。
- 双查询多任务训练可覆盖真实搜索场景：训练时同时构造短关键词（≤8 词，模拟用户搜索）和长描述（30–60 词，模拟详情页/QA），并用不同权重组合损失。对搜索推荐场景，可类似设计“短实时 query”与“长上下文 query”双路训练，提升多意图覆盖。
- GCL 损失利用软标签缓解 batch 内假负例：用 VLM 为图文对打分作为 graded relevance，通过 GCL 中权重项对高相关负样本降权，避免把相近款当严格负例推远。电商推荐中若有人工/半自动的款型相似度标签，可直接复用该思路。
- 对 OOD 评估基准的偏差需主动审计：论文发现 Fashion200k 的 ground truth 由 caption 来源图像构建，存在系统性偏向模型训练分布。工作中应警惕沿用公开基准的原始 qrels，必要时可采用多模型池化 + LLM 重打分做无偏评估，避免指标虚高。